Ông nội là Lý Phương Thúc, người huyện Mông, quận (quốc) Lương [1], làm đến Tế Âm thái thú nhà Lưu Tống. Thời Văn Thành đế, con trai trưởng của Lý Phương Thúc là Lý Tuấn bị gián điệp chiêu dụ, bèn quy hàng nhà Bắc Ngụy; các em trai Đản, Nghi, Nhã, Bạch, Vĩnh trước sau cũng đi theo Tuấn, định cư ở huyện Vệ Quốc, quận Đốn Khâu [2].

Nhờ có con gái là Lý quý nhân sinh ra Hiến Văn đế, Lý Phương Thúc được truy tặng Đốn Khâu Hiến vương, Lý Tuấn được phong Đốn Khâu vương, Lý Đản được phong Trần Lưu vương, Lý Nghi được phong Bành Thành vương.

Con trai trưởng của Lý Tuấn là Lý Túc có tội, chịu đoạt tước. Con trai trưởng của Lý Đản là Lý Sùng, theo lệ giáng xuống công tước; Sùng là danh thần của nhà Bắc Ngụy, có công trấn áp khởi nghĩa Lục trấn, sử cũ có truyện. Bình chính là con trai trưởng của Lý Nghi.